科技成果评价指标体系研究
【引言】科技成果评价对科技成果转化起到至关重要的作用,构建科技成果评价指标体系是第三方机构开展相关工作的前提。本文将通过对国内外科技成果评价法律法规、评估方法等方面的研究,构建科技成果评价指标体系并优化评价流程和专家遴选体系,旨在提高科技成果评价效率的同时保证评估结果的客观和公正。
科技成果评价是科技成果转化的必要前置环节,完善的科技成果评价机制能提高科技管理水平,优化配置各种资源,从而有助于促进国家的科技事业健康发展。随着我国科学技术的发展和科技体系的变革,政府组织的成果鉴定已无法满足新形势下科技成果评价的多样化需求,故而2016年6月23日科技部出台《科技部关于对部分规章和文件予以废止的决定》,其中对《科学技术成果鉴定办法》等规章予以废止,规定科技成果鉴定工作不再作为行政审批,由委托方委托专业评价机构进行,这意味着第三方机构建立科学、合理的科技成果评价机制已经势在必行。
一、科技成果评价的范围界定
“科技成果”一词具有典型的中国特色,是计划经济时代的产物,在美国等西方国家的科技管理相关词汇中并没有类似于“科技成果”的统称,一般以论文、论著、科技报告、专利、技术标准等作为科研项目研发取得的成果。根据国家科技部《关于科学技术研究成果管理的规定》,科技成果必须同时具备新颖性、先进性和实用价值(或学术意义)3个特点。科技成果评价就是对科技成果水平和效果的评价,更关注的是研究结果,对于研究过程和研究方式关心度较低。改革之前,科技成果一直采用由政府组织的科技成果鉴定的方式,而科技成果需要在市场上流通转化,不仅要明确其科学性、先进性、实用性等指标,还要明确其市场方面的价值和效益。由于软科学成果和基础理论成果不以成果转化作为评定标准,故而本次科技成果评价指标体系的建立主要聚焦于应用技术成果。
二、国外科技成果评价现状
最早的科技评价工作始于20世纪20年代的美国,科技评价的雏形为与科技相关的研究、分析和评价,随后法国、德国、加拿大、日本、丹麦等国也陆续开展科技评价工作。
1.美国
美国的科技成果评价有完善的立法保障,国会颁布的《政府绩效与结果法案》规范了政府部门的绩效评估活动,其中要求所有联邦机构的科技活动使用绩效评估技术并向公众通报评价结果。针对不同研究项目的特点选择不同的评估方法、评估对象、评估时间范围、评估流程和评估专家等。以美国国家科学基金会为例,主要侧重于基础研究类项目,其科技成果评估主要从4个方面进行考虑:研究水平,主要考察研究者研究方法的好坏;项目在科研上的贡献,主要考察是否可能产生新的发现或发明,或对该领域的科研产生重大影响;实用性,主要考察是否有助于实现某一具体目标,解决某一具体问题,或有助于技术进步;对科学基础设施的贡献,主要考察科研效益、对教育和人才的贡献等。美国国防部的科技成果评价主要采取“技术成熟度概念”,细分为九级,所属级别越高说明该技术越成熟,则发展成为成熟产品的可能性越大。
2.法国
法国的科技评价具有完善的法律制度:法国第一部科技法《科技方针与规划法》被视为公共研究机构的根本大法;《科技规划与指导法》从法律上确立了科技评估的地位,其中明确规定评估人员必须对其所作评估负法律责任,若存在违法行为将受到法律的制裁;《技术创新与科研法》中规定所有公共研究机构应与政府签订涉及整个研究活动的多年期合同,该合同确定研究机构的目标和双方相互的承诺,相应的其实施活动接受政府评估。法国的科技评估活动呈现市场化特征,例如应用型技术成果一般是通过知识产权保护制度,以市场的方式对科技成果进行评估。
3.日本
日本也陆续出台了相应的科技评估法律法规:1995年日本政府颁布了《科学技术基法》,明确了科技评估的地位;1997年日本科学技术会议审议通过了《国家研究开发评价实施办法大纲指针》,极大地推进了日本研究评价体制的建设。以日本学术振兴机构JST为例,其对基础研究项目的执行情况评估是通过对项目成果的后评估来实现的,由JST支持的专家组成的评估小组进行评估,通过座谈会等形式对评估进行补充,并向公众介绍研究成果。评估小组按照这几个评价指标对项目进行评估:是否在国际上建立新的研究领域;是否有其他研究机构资助该领域的项目;该项目的设计和管理是否完善;该项目是否创造了价值或取得了创造性的研究成果;该项目是否对日本的研究潜力有提升等。
三、我国科技成果评价现状
1.政策法规
科技成果评估国家层面的政策法规主要为《科学技术评价办法》(试行)、《科技成果评价试点暂行办法》、《科技成果评价试点工作方案》等,上述法律法规中的指标体系仅列出了一级指标,也未列出指标的具体说明,导致实际使用时易出现解释的差异,且指标权重需要由实际使用者自行定义,故而该指标体系的科学性和可操作性明显不足。
科技成果评估地方性规章主要为《青岛科技成果标准化评价规范》、《广东省科技成果评价办法》、《湖北省科技成果评价工作规程》、《天津市的科技成果评价指标体》等,上述规章中的指标体系都具有地方特色,和地方经济、特色产业等方面有着很强的联系,不能直接生搬硬套。
2.评价方法
目前,科技成果评价方法主要有以下几种:
●同行评议法即专家学者对本专业领域的学术成果的评价,包括著述的发表出版、评论、评奖、评职称、论文引用、论文鉴定等,该方法简单易用,但难以制定统一的标准,结果误差较大。
●德尔菲法也称专家调查法,该方法由美国兰德公司创始实行。由企业组成一个专门的预测机构,其中包括若干专家和企业预测组织者,按照规定的程序,背靠背地征询专家对未来市场的意见或者判断,然后进行预测的方法。该方法简单易于操作,但受主观因素影响,对评价对象的判断容易产生误差。
●综合评价法,是指运用多个指标对多个参评单位进行评价的方法,其基本思想是将多个指标转化为一个能够反映综合情况的指标来进行评价,现代综合评价方法包括主成分分析法、数据包络分析法、模糊评价法等。该方法较其他方法具有优势但权重需要另外计算得出。
●层次分析法是将与决策总是有关的元素分解成目标、准则、方案等层次,在此基础之上进行定性和定量分析的决策方法,该方法多用于权重的计算。
●模糊综合分析法是一种基于模糊数学的综合评价方法。该综合评价法根据模糊数学的隶属度理论把定性评价转化为定量评价,即用模糊数学对受到多种因素制约的事物或对象做出一个总体的评价。它具有结果清晰,系统性强的特点,能较好地解决模糊的、难以量化的问题,适合各种非确定性问题的解决。
四、科技成果评价指标体系构建
目前,科技成果评价缺乏科学、客观、满足多方需求的一套标准,已有的评价体系较少触及核心内容,缺乏相应的监管和风险管控机制。亟待建立以全面性、系统性、客观性、定性定量结合、模块化、可扩展、可操作为原则的指标体系,以满足市场化需求。
1.技术水平指标
●创新性的定义为核心技术方案属于原始创新、集成创新还是消化吸收后再创新。
●先进性的定义为与国内外技术相比是否处于领先地位。
●重要程度的定义为技术方案在该领域内属于核心关键技术还是一般技术。
●合理性的定义为研究设计是否严密,分析论证是否符合逻辑,实验条件是否符合相关标准,统计处理是否正确,提供数据是否真实可靠,结果是否可重复。
2.实用价值指标
●可替代性的定义为当前时间点是否存在解决相同或类似问题的替代技术方案。
●成熟性的定义为与国内外技术相比是否处于领先地位。
●配套技术依存度的定义为技术方案在该领域内属于核心关键技术还是一般技术。
●知识产权保护的定位为判定该成果是否存在完善的知识产权保护。
●潜在稳定性定义为科技成果转化预期效益是否长期稳定有效。
●通用性的定义为成果转化是否需要二次开发。
3.推广前景指标
●行业发展能力的定义为所在的技术领域目前的发展方向。
●认可度及影响力的定义为目前是否在业内被广泛的认可,是否具备一定的影响力。
●潜在市场占有率的定义为技术经过充分的市场推广后可能在市场上占有的份额。
●潜在竞争情况的定位为市场上是否存在与科技成果持有人形成竞争关系的竞争对手,以及竞争对手的规模。
●政策适应及导向性的定义为国家与地方政策对应用一项技术的相关规定,包括技术是否是政策所鼓励和扶持的,是否享有各种优惠政策。
●推广成本的定义为相对现有技术是否能以较小的成本带来较大的收益。
●孵化复杂性的定义为从实验室的科技成果走向工厂的批量化生产的难度。
●生产组织周期主要指生产周期的长度,时间越长越不具有市场竞争性。
4.权重确定
AHP层次分析法是美国运筹学家T. L. Saaty教授于20世纪70年代提出的一种实用的多方案或多目标的决策方法,是一种定性与定量相结合的决策分析方法。层次分析法虽然也依赖于决策者的知识、经验和价值判断,但对各指标之间重要程度的判断更具逻辑性,从而减低了主观影响因素。主要步骤如下:
(1)确定判定矩阵:对各个维度中指标体系的关联因素进行两两比较评判,给出定量结果并组成判断矩阵,计算出各个关联因素相对重要的权重。
(2)确定权重的最大特征向量和特征根:将矩阵的每一行n个元素相乘再开n次方,再将得出的向量作归一化处理,即算出每个指标的特征向量。
(3)一致性检验:权重计算完后对每个判断矩阵进行一致性检验,以保证所得权重合理且正确。
结语
科技成果评价对促进科技成果转化起到至关重要的作用,第三方机构在构建科技成果评价指标体系的同时需要根据自身实践对指标选择、打分依据、权重确定等方面进行不断的修正和完善。总之,通过建立严谨的流程管理,结合详实的操作标准,以求在最大程度上降低主观因素的成分,在提高科技成果评价的效率的同时保证评估结果的客观和公正。
(中国信息通信研究院知识产权中心 秦乐)